
import numpy as np
import pandas as pd
import plotly.express as px
from plotly.subplots import make_subplots
import plotly.graph_objects as go
import plotly.io as pio


import plotly.io as pio
pio.renderers

Renderers configuration
-----------------------
    Default renderer: 'plotly_mimetype+notebook'
    Available renderers:
        ['plotly_mimetype', 'jupyterlab', 'nteract', 'vscode',
         'notebook', 'notebook_connected', 'kaggle', 'azure', 'colab',
         'cocalc', 'databricks', 'json', 'png', 'jpeg', 'jpg', 'svg',
         'pdf', 'browser', 'firefox', 'chrome', 'chromium', 'iframe',
         'iframe_connected', 'sphinx_gallery', 'sphinx_gallery_png']


pio.renderers.default = "notebook"


def equivalencia_linha(tabulacao_cruzada):
    """Essa função determina as esquivalências por linha entre dois mapas de uso e cobertura da terra (UTC).
        Recebe como entrada uma matriz de tablução cruzada entre os dois mapas.
    """
    
    mapeamento_linha = []
    for index, row in tabulacao_cruzada.iterrows():
        max_row = row.sort_values(ascending=False)
        mapeamento_linha.append(tabulacao_cruzada.loc[: , max_row.index[0]])
    
    mapeamento_linha = pd.DataFrame(data=mapeamento_linha)
    
    linhas = mapeamento_linha.index.tolist()
    colunas = mapeamento_linha.columns.tolist()
    data_tuples = list(zip(colunas, linhas))
    mapeamento_linha = pd.DataFrame(data_tuples, columns=['Quarto_Inventario','MapBiomas'])
    
    for i in range(len(mapeamento_linha)):
        mapeamento_linha.loc[i, "Size"] = tabulacao_cruzada.loc[(mapeamento_linha["Quarto_Inventario"][i])].max()
        
    return mapeamento_linha


def equivalencia_coluna(tabulacao_cruzada):
    """Essa função determina as esquivalências por coluna entre dois mapas de uso e cobertura da terra (UTC).
        Recebe como entrada uma matriz de tablução cruzada entre os dois mapas.
    """
    
    mapeamento_coluna = []
    for column in range(0, tabulacao_cruzada.shape[1]):
        max_column = tabulacao_cruzada.iloc[:, column].sort_values(ascending=False)
        mapeamento_coluna.append(tabulacao_cruzada.loc[max_column.index[0], :])
    
    mapeamento_coluna = pd.DataFrame(data=mapeamento_coluna)
    
    linhas = mapeamento_coluna.index.tolist()
    colunas = mapeamento_coluna.columns.tolist()
    data_tuples = list(zip(colunas, linhas))
    mapeamento_coluna = pd.DataFrame(data_tuples, columns=['MapBiomas', 'Quarto_Inventario'])
    
    mapeamento_coluna.loc[:, ("Size")] = 0
    
    for i in range(len(mapeamento_coluna)):
         mapeamento_coluna.loc[i, "Size"] = tabulacao_cruzada.loc[:, (mapeamento_coluna["MapBiomas"][i])].max()
        
    return mapeamento_coluna


def legenda_harmonizada(mapeamento_linha, mapeamento_coluna):
    """
        Determina a harmonização das legendas a partir das harmonizações por linha e por coluna.
    """
    
    legenda = pd.merge(equivalencias_linha, equivalencias_coluna, how="outer")
    
    return legenda


def nodify(node_names):
    '''
        Cria os nódulos para agrupar cada legendas em uma coluna a partir da legenda gerada
        pela função harmonizacao_2_sankey e geras as cores de cada nódulo por coluna.
    '''
    # uniqe name endings
    ends = sorted(list(set([e[-1] for e in node_names])))
    
    # intervals
    steps = 0

    # x-values for each unique name ending
    # for input as node position
    nodes_x = {}
    node_colors = {}
    xVal = 0
    for e in ends:
        if e != " ":
            nodes_x[str(e)] = xVal
            xVal += steps + 0.3
        else:
            nodes_x[str(e)] = xVal
            xVal += steps
            
    for e in ends:
        if e != "'":
            node_colors[str(e)] = '#84caa0'
        else:
            node_colors[str(e)] = '#37986a'

    # x and y values in list form
    x_values = [nodes_x[n[-1]] for n in node_names]
    y_values = [0.01]*len(x_values)
    
    node_colors = [node_colors[n[-1]] for n in node_names]
    
    return x_values, y_values, node_colors


def df_2_sankey(df,cols,values,hover_value=None):
    """ 
        Helper function to convert a dataframe of relationships to 
        Plotly Sankey format.
    """
    colors = ['#D0EDA6','#EDEF7B','#EF7B84','#00308f','#eedc82','#c66']
    out = df.copy()
    entities = dict()
    vals_ = [values,hover_value]
    try: 
        vals_.remove(None)
    except:
        pass
    
    # get dict of uid for each entity in each level from 0...n
    for n,c in enumerate(cols):
        if n == 0:
            out[f'{c}_'] = pd.factorize(out[c])[0]
        else:
            out[f'{c}_'] = pd.factorize(out[c])[0] + (out[f'{cols[n-1]}_'].max()+1)
        entities[n] = dict(out[[cols[n]+'_',cols[n]]].values)

    # create df edge list between source,targets
    edge_list = list()
    for i in range(0, len(cols), 1):
        slice_ = cols[i:i+2]
        if len(slice_)==2:
            el_ = out.groupby([f'{c}_' for c in slice_],as_index=False)[vals_].sum()
            el_.columns = ['source','target']+vals_
            edge_list.append(el_)
    edge_list = pd.concat(edge_list,ignore_index=True)

    # Sankey node definitions are simply the ordered uid/names of each entity 
    labels = [v[i] for k,v in entities.items() for i in v] # use v[i] for name, i for uid
    node_colors = [colors[k] for k in entities.keys() for i in entities[k]]

    # Sankey edge definitions
    source = list(edge_list['source'])
    target = list(edge_list['target'])
    values = list(edge_list[values])
    
    if hover_value is None:
        hover_values = list()
    else:
        hover_values = list(edge_list[hover_value])
    if len(source) == len(target) == len(values):
        return edge_list,entities,labels,node_colors,source,target,values,hover_values
    else:
        raise Exception('Output test fail: lists are of unequal lengths')


def harmonizacao_2_sankey(df):
    """
    Gera os outputs necessários para gerar o diagrama de Sankey via plotly para a legenda harmonizada.
    """      
    equivalencias_linha = equivalencia_linha(df)
    _df = pd.DataFrame()
    _df["source"] = equivalencias_linha["Quarto_Inventario"] + "!"
    _df["target"] = equivalencias_linha["MapBiomas"] + "'"
    _df["value"] = equivalencias_linha["Size"]
    
    equivalencias_coluna = equivalencia_coluna(df)
    _df2 = pd.DataFrame()
    _df2["source"] = equivalencias_coluna["MapBiomas"] + "'"
    _df2["target"] = equivalencias_coluna["Quarto_Inventario"].astype(str) + " "
    _df2["value"] = equivalencias_coluna["Size"]
    
    _df = pd.concat([_df, _df2], ignore_index=True)
    
    legendas = pd.concat([_df['source'], _df['target']])
    legendas = legendas.unique()
    legenda = {x: index for index, x in enumerate(legendas)}
    
    nodified_x, nodified_y, node_colors = nodify(legendas)
    
    source = []
    target = []
    value = []
    for linha in _df.iterrows():
        source.append(legenda.get(linha[1].source))
        target.append(legenda.get(linha[1].target))
        value.append(linha[1].value)
    
    return legendas, source, target, value, node_colors, nodified_x, nodified_y


mapbiomas_col7_legenda = {
    1 : "Floresta",
    3 : "Formação Florestal",
    4 : "Formação Savânica",
    5 : "Mangue",
    49 : "Restinga Arborizada",
    10 : "Formação Natural não Florestal",
    11 : "Campo Alagado e Área Pantanosa",
    12 : "Formação Campestre",
    32 : "Apicum",
    29 : "Afloramento Rochoso",
    50 : "Restinga Herbácea",
    13 : "Outras Formações não Florestais",
    14 : "Agropecuária",
    15 : "Pastagem",
    18 : "Agricultura",
    19 : "Lavoura Temporária",
    39 : "Soja",
    20 : "Cana",
    40 : "Arroz (beta)",
    62 : "Algodão (beta)",
    41 : "Outras Lavouras Temporárias",
    36 : "Lavoura Perene",
    46 : "Café",
    47 : "Citrus",
    48 : "Outras Lavouras Perenes",
    9 : "Silvicultura",
    21 : "Mosaico de Usos",
    22 : "Área não Vegetada",
    23 : "Praia, Duna e Areal",
    24 : "Área Urbanizada",
    30 : "Mineração",
    25 : "Outras Áreas não Vegetadas",
    26 : "Corpo D'água",
    33 : "Rio, Lago e Oceano",
    31 : "Aquicultura",
    27 : "Não Observado"
}

quarto_inventario_legenda = {
    1 : "Floresta manejada (FM)",
    2 : "Floresta não manejada (FNM)",
    3 : "Floresta secundária (FSec)",
    4 : "Corte seletivo (CS)",
    5 : "Reflorestamento (Ref)",
    6 : "Campo manejado (GM)",
    7 : "Campo não manejado (GNM)",
    8 : "Campo secundário (GSec)",
    9 : "Pastagem (Ap)",
    10 : "Pastagem degradada (APD)",
    11 : "Outras formações lenhosas manejadas (OFLM)",
    12 : "Outras formações lenhosas não manejadas (OFLNM)",
    13 : "Outras formações lenhosas secundárias (OFLSec)",
    14 : "Agricultura anual  (AC)",
    15 : "Agricultura perene (PER)",
    16 : "Agricultura semiperene  (CANA)",
    17 : "Água (A)",
    18 : "Reservatório (Res)",
    19 : "Assentamento (S)",
    20 : "Dunas manejadas (DnM)",
    21 : "Dunas não manejadas (DnNM)",
    22 : "Afloramento rochoso manejado (ArM)",
    23 : "Afloramento rochoso não manejado (ArNM)",
    24 : "Mineração (Min)",
    25 : "Solo exposto (SE)",
    26 : "Áreas não observadas (NO)"
}


df = pd.read_csv("../confusion_matrix/tab_cruz_pantanal.csv", index_col="Unnamed: 0")

df.head()


df.shape

(19, 17)


df.index

Index([ 0.0,  1.0,  2.0,  3.0,  5.0,  6.0,  7.0,  8.0,  9.0, 11.0, 12.0, 13.0,
       14.0, 15.0, 16.0, 17.0, 18.0, 19.0, 24.0],
      dtype='float64')


df.columns

Index(['0.0', '3.0', '4.0', '9.0', '11.0', '12.0', '15.0', '20.0', '21.0',
       '23.0', '24.0', '25.0', '30.0', '33.0', '39.0', '41.0', '255.0'],
      dtype='object')


df = df.drop(index=0.0, columns=["0.0", "255.0"])


df.head()


classes_mapa1 = df.columns.astype(float)
classes_mapa2 = df.index

# Mapeando os valores de pixels com os nomes das classes
mapa1_legenda = list(map(mapbiomas_col7_legenda.get, classes_mapa1))
mapa2_legenda = list(map(quarto_inventario_legenda.get, classes_mapa2))


mapa1_legenda

['Formação Florestal',
 'Formação Savânica',
 'Silvicultura',
 'Campo Alagado e Área Pantanosa',
 'Formação Campestre',
 'Pastagem',
 'Cana',
 'Mosaico de Usos',
 'Praia, Duna e Areal',
 'Área Urbanizada',
 'Outras Áreas não Vegetadas',
 'Mineração',
 'Rio, Lago e Oceano',
 'Soja',
 'Outras Lavouras Temporárias']


mapa2_legenda

['Floresta manejada (FM)',
 'Floresta não manejada (FNM)',
 'Floresta secundária (FSec)',
 'Reflorestamento (Ref)',
 'Campo manejado (GM)',
 'Campo não manejado (GNM)',
 'Campo secundário (GSec)',
 'Pastagem (Ap)',
 'Outras formações lenhosas manejadas (OFLM)',
 'Outras formações lenhosas não manejadas (OFLNM)',
 'Outras formações lenhosas secundárias (OFLSec)',
 'Agricultura anual  (AC)',
 'Agricultura perene (PER)',
 'Agricultura semiperene  (CANA)',
 'Água (A)',
 'Reservatório (Res)',
 'Assentamento (S)',
 'Mineração (Min)']


# Renomeando linhas e colunas de acordo com as classes 
df.columns = mapa1_legenda
df.index = mapa2_legenda

df.head()


df2 = df

df = round(df * 0.09 / 1000000, 2)

df.head()


results = []
for p_key, values in df.items():
    for key, value in values.items():
        results.append({"source": p_key, "target": key, "value": value})
        # print(p_key, key, value)

df_list = pd.DataFrame(results, columns=['target', 'source', 'value'])
df_list


fig = px.imshow(df.replace(0, None), text_auto=True, aspect="auto", height=1000, title='Matriz de Tabulação Cruzada entre os mapas (Mha)')
fig.show()


fig = make_subplots(
    rows=2, cols=1,
    shared_yaxes='all',
    specs=[[{"type": "xy"}],[{"type": "xy"}]],
    subplot_titles=("<b>MapBiomas Col. 7 - pantanal<b>", "<b>Quarto Inventário Nacional - pantanal<b>")
)

fig.add_trace(go.Bar(y= df.sum(), x=df.sum().index, text=((df.sum())).astype(int).astype(str)+"Mha"),
              row=1, col=1)

fig.add_trace(go.Bar(y = df.sum(axis='columns').sort_values(ascending=False), 
                     x=df.sum(axis='columns').sort_values(ascending=False).index, 
                     text=((df.sum(axis='columns').sort_values(ascending=False))).astype(int).astype(str)+"Mha"),
              row=2, col=1)

fig.update_layout(title_text="<b>Distribuição das Classes por Mapa da Região Estudada<b>",
                  height=1000,
                  width=1200,
                  showlegend=False
                  )

fig.update_layout(barmode='stack', xaxis={'categoryorder':'total descending'})

fig.show()


equivalencias_linha = equivalencia_linha(df)
display(equivalencias_linha)


edge_list,entities,labels,colors,source,target,values,hover_values = df_2_sankey(equivalencias_linha,['MapBiomas', 'Quarto_Inventario'],values='Size')

fig = go.Figure(data=[go.Sankey(
    valueformat = ".0f",
    node = dict(
      pad = 5,
      thickness = 20,
      line = dict(color = "black", width = 0.5),
      label = labels,
      color = colors,
      customdata=hover_values,
      hovertemplate='Source: %{label}<br />'+
                    'Amount: %{value}<br />'
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A2, B1, ...
      target = target,
      value = values,
      customdata=hover_values,
      hovertemplate='Source: %{source.label}<br />'+
                    'Target: %{target.label}<br />'+
                    'Amount: %{value}<br />', 
  ))])

fig.update_layout(autosize=True,width=900,height=1200,title_text="<b> Quarto_Inventario > MapBiomas | pantanal<b>", font_size=12)
fig.show()


equivalencias_coluna = equivalencia_coluna(df)
display(equivalencias_coluna)


edge_list,entities,labels,colors,source,target,values,hover_values = df_2_sankey(equivalencias_coluna,['MapBiomas', 'Quarto_Inventario'],values='Size')

fig = go.Figure(data=[go.Sankey(
    valueformat = ".0f",
    node = dict(
      pad = 5,
      thickness = 20,
      line = dict(color = "black", width = 0.5),
      label = labels,
      color = colors,
      customdata=hover_values,
      hovertemplate='Source: %{label}<br />'+
                    'Amount: %{value}<br />'
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A2, B1, ...
      target = target,
      value = values,
      customdata=hover_values,
      hovertemplate='Source: %{source.label}<br />'+
                    'Target: %{target.label}<br />'+
                    'Amount: %{value}<br />', 
  ))])

fig.update_layout(autosize=True,width=900,height=1200,title_text="<b> MapBiomas > Quarto_Inventario | pantanal<b>", font_size=12)
fig.show()


mapeamento = legenda_harmonizada(equivalencias_linha, equivalencias_coluna)
display(mapeamento)


legendas, source, target, value, node_colors, nodified_x, nodified_y = harmonizacao_2_sankey(df2)

fig = go.Figure(data=[go.Sankey(
    arrangement='snap',
    node = dict(
        pad = 15,
        thickness = 20,
        line = dict(color = "black", width = 0.5),
        label = legendas,
        color = node_colors,
        x=nodified_x,
        y=nodified_y
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A1, B1, ...
      target = target,
      value = value
  ))])


fig.update_layout(autosize=True,width=1000,height=1500,title_text="<b> Inventário > MapBiomas > Inventário | pantanal <b>", font_size=12)
fig.show()


legendas, source, target, value, node_colors, nodified_x, nodified_y = harmonizacao_2_sankey(df)

value = [1] * len(value)

fig = go.Figure(data=[go.Sankey(
    arrangement='snap',
    node = dict(
        pad = 15,
        thickness = 20,
        line = dict(color = "black", width = 0.5),
        label = legendas,
        color = node_colors,
        x=nodified_x,
        y=nodified_y
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A1, B1, ...
      target = target,
      value = value
  ))])

fig.update_layout(autosize=True,width=1000,height=1500,title_text="<b> Quarto Inventário > MapBiomas | pantanal <b>", font_size=12)
fig.show()


concordancia_geral = round(100 * mapeamento.loc[:, "Size"].sum() / df.to_numpy().sum(), 2)

print("A concordância geral entre os mapas foi de {}%".format(concordancia_geral), "considerando a harmonização obtida.")

A concordância geral entre os mapas foi de 55.52% considerando a harmonização obtida.

	0.0	3.0	4.0	9.0	11.0	12.0	15.0	20.0	21.0	23.0	24.0	25.0	30.0	33.0	39.0	41.0	255.0
0.0	112739025	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	98669950
1.0	0	1812702	593091	289	1380254	1238269	43078	0	2045	0	0	82	0	224970	25	0	2687
2.0	0	20699540	12054473	6156	7786402	13631212	3063790	191	134100	1	2047	1844	14842	840657	603	2241	22360
3.0	0	310391	284018	328	183448	324166	134515	23	5293	0	272	23	187	6017	16	177	40
5.0	0	8507	8679	156971	615	362	52740	0	7305	0	2	45	0	37	7	499	0

	3.0	4.0	9.0	11.0	12.0	15.0	20.0	21.0	23.0	24.0	25.0	30.0	33.0	39.0	41.0
1.0	1812702	593091	289	1380254	1238269	43078	0	2045	0	0	82	0	224970	25	0
2.0	20699540	12054473	6156	7786402	13631212	3063790	191	134100	1	2047	1844	14842	840657	603	2241
3.0	310391	284018	328	183448	324166	134515	23	5293	0	272	23	187	6017	16	177
5.0	8507	8679	156971	615	362	52740	0	7305	0	2	45	0	37	7	499
6.0	55096	40909	0	174693	209181	344	0	442	0	0	0	0	144451	0	0

	Formação Florestal	Formação Savânica	Silvicultura	Campo Alagado e Área Pantanosa	Formação Campestre	Pastagem	Cana	Mosaico de Usos	Praia, Duna e Areal	Área Urbanizada	Outras Áreas não Vegetadas	Mineração	Rio, Lago e Oceano	Soja	Outras Lavouras Temporárias
Floresta manejada (FM)	1812702	593091	289	1380254	1238269	43078	0	2045	0	0	82	0	224970	25	0
Floresta não manejada (FNM)	20699540	12054473	6156	7786402	13631212	3063790	191	134100	1	2047	1844	14842	840657	603	2241
Floresta secundária (FSec)	310391	284018	328	183448	324166	134515	23	5293	0	272	23	187	6017	16	177
Reflorestamento (Ref)	8507	8679	156971	615	362	52740	0	7305	0	2	45	0	37	7	499
Campo manejado (GM)	55096	40909	0	174693	209181	344	0	442	0	0	0	0	144451	0	0

| Pantanal ¶

1.1 | Importando pacotes usados ¶

1.2 | Funções usadas ¶

1.3 | Legendas dos mapas de acordo com os valores de pixel ¶

1.4 | Carregando os dados ¶

1.5 | Tratando os dados ¶

1.6 | Mapeando os nomes das classes ¶

2.1 | Análise dos dados ¶

2.1.1 | Tabulação Cruzada ¶

2.2 | Equivalências por linha ¶

2.3 | Equivalências por coluna ¶

2.4 | Legenda Harmonizada ¶

2.5 | Análise das Informações Obtidas ¶

	Formação Florestal	Formação Savânica	Silvicultura	Campo Alagado e Área Pantanosa	Formação Campestre	Pastagem	Mosaico de Usos	Rio, Lago e Oceano
Floresta manejada (FM)	0.16	0.05	0.00	0.12	0.11	0.00	0.00	0.02
Floresta não manejada (FNM)	1.86	1.08	0.00	0.70	1.23	0.28	0.01	0.08
Floresta secundária (FSec)	0.03	0.03	0.00	0.02	0.03	0.01	0.00	0.00
Reflorestamento (Ref)	0.00	0.00	0.01	0.00	0.00	0.00	0.00	0.00
Campo manejado (GM)	0.00	0.00	0.00	0.02	0.02	0.00	0.00	0.01